Taller OpenRefine para bibliotecarios

OpenRefine

Traducción y adaptación del Taller OpenRefine de Library Carpentry.

Erin Carillo (Ed.), Owen Stephens (Ed.), Juliane Schneider (Ed.), Paul R. Pival (Ed.), Kristin Lee (Ed.), Carmi Cronje (Ed.), James Baker, Christopher Erdmann, Tim Dennis, mhidas, Daniel Bangert, Evan Williamson, … Jeffrey Oliver. (2019, July). LibraryCarpentry/lc-open-refine: Library Carpentry: OpenRefine, June 2019 (Version v2019.06.1). Zenodo. http://doi.org/10.5281/zenodo.3266144

Este es una adaptación y traducción del tutorial de Library Carpentry: Library Carpentry: OpenRefine
La lección originarl y esta versión está bajo la licencia CC By 4.0

Esta lección de librarycarpentry presenta OpenRefine a las personas que trabajan con datos y en roles relacionados con la biblioteca y la información. Al final de la lección,el aprendiz comprenderá lo que hace el software OpenRefine y cómo usarlo para trabajar con archivos de datos.

Para

Visión general

¿Qué es Open Refine?

OpenRefine es una aplicación de escritorio que utiliza un navegador web como interfaz gráfica. Se describe como “una herramienta poderosa para trabajar con datos desordenados” David Huynh. ¿Qué significa esto?

Probablemente sea más fácil describir los tipos de datos con los que OpenRefine trabaja mejor y los tipos de problemas que puede ayudarlo a resolver.

OpenRefine es más útil cuando tiene datos en un formato tabular simple, como una hoja de cálculo, un archivo de valores separados por comas (csv) o un archivo delimitado por tabuladores (tsv), pero con inconsistencias internas en los formatos de datos, el lugar donde aparecen los datos, o la terminología utilizada. OpenRefine se puede usar para estandarizar y limpiar datos en su archivo.

Puede ayudarlo a:

• Obtener una descripción general de un conjunto de datos

• Resolver inconsistencias en un conjunto de datos, por ejemplo, estandarizar el formato de fecha

• Ayudarlo a dividir los datos en partes más granulares, por ejemplo, dividir celdas con varios autores en celdas separadas

• Hacer coincidir los datos locales con otros conjuntos de datos, por ejemplo, en formularios de coincidencia de nombres personales con registros de autoridad de nombres en el Archivo de autoridad internacional virtual (VIAF)

• Mejorar un conjunto de datos con datos de otras fuentes

Puede ayudarte

¿Qué debo saber al trabajar con OpenRefine?

• No se necesita conexión a Internet y ninguno de los datos o comandos que ingresa en OpenRefine se envían a un servidor remoto.

• NO está modificando datos originales/sin procesar.

• Los proyectos se guardan automáticamente cada cinco minutos y cuando OpenRefine se cierra correctamente (Ctrl+C).Consulte el Historial en el Manual del usuario para obtener más información.

• Los archivos se guardan localmente, de modo que si está trabajando en dos computadoras, tendrá que exportar/importar archivos/proyectos

Puntos Claves

• OpenRefine es ‘una herramienta para trabajar con datos desordenados’
• OpenRefine funciona mejor con datos en un formato tabular simple
• OpenRefine puede ayudarlo a dividir los datos en partes más granulares
• OpenRefine puede ayudarlo a hacer coincidir los datos locales con otros conjuntos de datos
• OpenRefine puede ayudarlo a mejorar un conjunto de datos con datos de otras fuentes

Importación de datos en OpenRefine

Visión general

Importación de datos

Hay varias opciones para obtener su conjunto de datos en OpenRefine. Puede cargar o importar archivos en una variedad de formatos que incluyen:

• TSV (valores separados por tabulaciones)
• CSV (valores separados por comas)
• Excel
• JSON (notación de objetos javascript)
• XML (lenguaje de marcado extensible)
• Hoja de cálculo de Google

Para abrir un proyecto existente en OpenRefine puede hacer clic en la pantalla principal de OpenRefine (en el menú de la izquierda). Al hacer clic, verá una lista de los proyectos existentes y puede hacer clic en el nombre de un proyecto para abrirlo.Open Project

Disposición de OpenRefine, filas vs registros

Visión general

Disposición de OpenRefine

OpenRefine muestra los datos en formato tabular (filas y columnas). Cada fila generalmente representará un “registro” en los datos, mientras que cada columna representa un tipo de información. Esto es muy similar a cómo puede ver los datos en una hoja de cálculo o base de datos. Al igual que con una hoja de cálculo, cada dato vive en una “celda” en la intersección de una fila y una columna.

OpenRefine solo muestra un número limitado de filas de datos a la vez. Puede ajustar el número eligiendo entre 5, 10 (el valor predeterminado), 25 y 50 en la parte superior izquierda de la tabla de datos. Puede navegar por los registros utilizando las opciones de navegación anterior/siguiente/primera/última en la parte superior derecha de la tabla de datos.

Trabajar con datos en OpenRefine

Se accede a la mayoría de las opciones para trabajar con datos en OpenRefine desde los menús desplegables en la parte superior de las columnas de datos. Cuando seleccione una opción en una columna en particular (por ejemplo, para realizar un cambio en los datos), afectará a todas las celdas de esa columna. Si desea realizar cambios en varias columnas, deberá hacerlo una columna a la vez.

Filas y registros

OpenRefine tiene dos modos de visualización de datos: ‘Filas’[rows] ‘registros’. En este momento estamos en modo Filas, donde cada fila representa un solo registro en el conjunto de datos, en este caso, un artículo. En el modo Registros, OpenRefine puede vincular varias filas como pertenecientes al mismo Registro.

Dividir celdas

Para ver cómo funciona esto en la práctica, podemos dividir los nombres de los autores en celdas separadas. Si observa la columna Autor, debería poder ver que hay varios nombres en cada celda separados por el símbolo pipe o barra vertical ( | ).

Para trabajar con los nombres de los autores de manera efectiva en OpenRefine, necesitamos tener cada nombre en una celda individual. Para dividir los nombres en sus propias celdas, podemos usar una función:Split multi-valued cells

Haga clic en el menú desplegable en la parte superior de la columna Autor
Elegir Edit cells->Split multi-valued cells
En el campo separator, escriba el símbolo ( | ) y haga clic en OK

Tenga en cuenta que las filas siguen estando numeradas secuencialmente
Haga clic en la opción para cambiar al modo Registros Records
Observe cómo ha cambiado la numeración, lo que indica que varias filas están relacionadas con el mismo registro

Unir celdas

Un flujo de trabajo común con celdas de varios valores es:

• Dividir celdas de múltiples valores en celdas individuales (lo que hicimos anteriormente)

• Modificar/refinar/limpiar celdasindividuales

• Volver a unir celdas de varios valores

La modificación de las celdas se cubrirá en futuras lecciones, pero por ahora cubriremos cómo volver a unir las celdas que se han dividido anteriormente.

• Haga clic en el menú desplegable en la parte superior de la columna Autor

• Elegir Edit cells->Join multi-valued cells
  En la ventana emergente que aparece, escriba el símbolo ( | )

  • Aquí estamos especificando el carácter delimitador para que OpenRefine lo use para unir los valores.

• Haga clic en Ok y en otros casos aceptar para volver a unir las celdas Autores.

Ahora verá que las filas divididas han desaparecido: los autores se han unido en una sola celda con el delimitador especificado. Nuestros valores de Filas y Registros ahora serán los mismos, ya que no tenemos más columnas con celdas divididas (multivalor).

Haga clic en las opciones rows y records y observe cómo los números de filas y registros son iguales.

Elegir un buen separador

El valor que separa las celdas de varios valores se denomina separador o delimitador. Elegir un buen separador es importante. En los ejemplos, hemos visto que se ha utilizado el carácter de pipe o barra vertical ( | ).

Elegir el separador incorrecto puede provocar problemas. Considere el siguiente ejemplo de autor de varios valores. con una tubería como separador.

Jones, Andrew | Davis, S.

Cuando le digamos a OpenRefine que divida esta celda a partir del pipe o barra vertical ( | ), obtendremos los siguientes dos autores cada uno en su propia celda ya que hay un solo pipe o barra vertical que los separa.

Autor 2: Davis, S.

Ahora imagine que el creador del documento hubiera elegido una coma como separador en lugar de un pipe o barra vertical

Jones, Andrew , Davis, S.

¿Puedes detectar el problema? ¿Puedes decir dónde se detiene un autor y comienza el siguiente?

OpenRefine se dividirá en cada coma que encuentre, por lo que terminaremos con 4 autores, no dos, porque OpenRefine no puede decir que Jones, Andrew se supone que es un solo autor. Obtendremos los siguientes cuatro “autores” porque hay 3 comas que separan las partes del nombre.

Autor 1: Jones
Autor 2: Andrew
Autor 3: Davis
Autor 4: S.

La división en una coma no funcionará con los autores porque los nombres pueden incluir comas dentro de ellos.

Facetado y filtrado

Facetas

Las facetas son una de las características más útiles de OpenRefine y pueden ayudar tanto a obtener una visión general de los datos como a mejorar la consistencia de los datos.

Una ‘Faceta’ agrupa todos los valores que aparecen en una columna y, a continuación, le permite filtrar los datos por estos valores y editar valores en muchos registros al mismo tiempo.

Una de las facetas más utilizadas se llama ‘Faceta de texto’. Esto agrupa todos los valores de texto en una columna y enumera cada valor con el número de registros en los que aparece. La información de la faceta siempre aparece en el panel de la izquierda en la interfaz de OpenRefine.

Para crear una faceta de texto para una columna, haga clic en el menú desplegable en la parte superior de la columna del editor y elija . La faceta aparecerá en el panel de la izquierda.Facet -> Text Facet

La faceta consiste en una lista de valores utilizados en los datos. Puede filtrar los datos que se muestran haciendo clic en uno de estos encabezados.

Puede incluir varios valores de la faceta en un filtro a la vez mediante la opción que aparece cuando coloca el mouse sobre un valor en la faceta.Include

También puede el filtro para mostrar todos los registros que no coinciden con los valores seleccionados. Esta opción aparece en la parte superior del panel Faceta cuando se selecciona un valor de la faceta para aplicarlo como filtro.invert

Filtros

Además de usar Facetas para filtrar los datos que se muestran en OpenRefine, también puede aplicar ‘Filtros de texto’, que busca un fragmento de texto en particular que aparece en una columna basada en una cadena de texto única, como una función de ‘búsqueda’. Los filtros de texto se aplican haciendo clic en el menú desplegable en la parte superior de la columna a la que desea aplicar el filtro y eligiendo ‘Filtro de texto’.

Al igual que con las Facetas, las opciones de filtro aparecen en el panel de la izquierda en OpenRefine. A medida que escribe el texto que desea utilizar en el filtro en el cuadro de texto del filtro, OpenRefine funciona para mostrar solo las filas que contienen ese texto en la columna correspondiente.

También puede utilizar expresiones regulares en el filtro.

Trabajar con datos filtrados

Es muy importante tener en cuenta que cuando haya filtrado los datos que se muestran en OpenRefine, cualquier operación que realice se aplicará solo a las filas que coincidan con el filtro, es decir, los datos que se muestran actualmente. Para confirmar que está trabajando con los datos que pretendía seleccionar, compruebe el número de registros coincidentes que se muestran encima de la tabla de datos.

Otros tipos de Faceta

Las facetas personalizadas son una gama de diferentes tipos de facetas. Algunas de las facetas personalizadas predeterminadas son:

Faceta de palabra: divide el texto en palabras y cuenta el número de registros en los que aparece cada palabra.
Faceta duplicada: esto da como resultado una faceta binaria de ‘verdadero’ o ‘falso’. Las filas aparecen en la faceta ‘true’ si el valor de la columna seleccionada coincide exactamente con un valor de la misma columna de otra fila

Faceta de longitud de texto: crea una faceta numérica basada en la longitud (número de caracteres) del texto de cada fila de la columna seleccionada. Esto puede ser útil para detectar datos incorrectos o inusuales en un campo donde se esperan longitudes específicas (por ejemplo, si se espera que los valores sean años, es probable que cualquier fila con una longitud de texto superior a 4 para esa columna sea incorrecta)

Faceta por espacio en blanco : una faceta binaria de ‘verdadero’ o ‘falso’. Las filas aparecen en la faceta ‘true’ si no tienen datos presentes en esa columna. Esto es útil cuando se buscan filas que carecen de datos clave.

Las facetas están destinadas a agrupar valores comunes y OpenRefine limita el número de valores permitidos en una sola faceta para garantizar que el software no funcione lentamente o se quede sin memoria. Si crea una faceta donde hay muchos valores únicos (por ejemplo, una faceta en una columna ‘título del libro’ en un conjunto de datos que tiene una fila por libro), la faceta creada será muy grande y puede ralentizar la aplicación o OpenRefine no creará la faceta.

Modificación de datos a través de facetas

Si crea una faceta de texto, puede editar los valores de la faceta para cambiar el valor de varios registros al mismo tiempo. Para ello, coloca el ratón sobre el valor que quieres editar y haz clic en la opción ‘editar’ que aparece.

Este enfoque es útil en facetas relativamente pequeñas donde puede tener pequeñas variaciones a través de errores de puntuación o escritura, etc. Por ejemplo, una columna que debe contener solo términos de una pequeña lista restringida, como días de la semana o meses del año.

La lista de valores de la faceta se actualizará a medida que realice ediciones.

Corregir los valores de idioma a través de una faceta

Puntos Claves

• Puede usar facetas y filtros para explorar sus datos

• Puede utilizar facetas y filtros para trabajar con un subconjunto de datos en OpenRefine

• Puede corregir problemas de datos comunes desde una faceta

Agrupación en clusters

Agrupamiento

La función Clúster agrupa valores similares pero incoherentes en una columna determinada y le permite combinar estos valores incoherentes en un único valor que elija.

Esto es muy efectivo cuando tiene datos con variaciones menores en los valores de los datos, por ejemplo, nombres de personas, organizaciones, lugares, términos de clasificación.

Para utilizar la función ‘Clúster’, haga clic en la opción de menú en la columna correspondiente y elija Edit CellsCluster and edit…

Los ‘Clusters’ se crean automáticamente de acuerdo con un algoritmo. OpenRefine admite una serie de algoritmos de agrupación en clústeres diferentes: es posible que se requiera cierta experimentación para ver qué algoritmo de agrupación en clústeres funciona mejor con cualquier conjunto particular de datos, y puede encontrar que el uso de diferentes algoritmos resalta diferentes clústeres.

Para obtener más información sobre los métodos utilizados para crear clústeres, consulte Clustering in deep

Para cada clúster está la opción de “fusionar” los valores, es decir, reemplazar los diversos valores inconsistentes con un solo valor consistente. De forma predeterminada, OpenRefine utiliza el valor más común en el clúster como el nuevo valor, pero puede seleccionar otro valor haciendo clic en el propio valor, o puede escribir el valor deseado en el cuadro ‘Nuevo valor de celda’.

Trabajar con columnas y ordenar

Reordenación de columnas

Puede reordenar las columnas haciendo clic en el menú desplegable en la parte superior de la primera columna (etiquetado como ‘Todos’) y eligiendo ‘Editar columnas’ > ‘Reordenar / eliminar columnas …’

A continuación, puede arrastrar y soltar los nombres de columna para reordenar las columnas o eliminar las columnas por completo si no son necesarias.

Cambiar el nombre de las columnas

Puede cambiar el nombre de una columna abriendo el menú desplegable en la parte superior de la columna que desea cambiar de nombre y eligiendo ‘Editar columna’ > ‘Cambiar nombre de esta columna’. A continuación, se le pedirá que introduzca el nuevo nombre de columna.

Clasificación de datos

Puede ordenar los datos en OpenRefine haciendo clic en el menú desplegable de la columna en la que desea ordenar y eligiendo. Sort

Una vez que haya ordenado los datos, se mostrará un nuevo menú desplegable.Sort

A diferencia de Excel, las ‘ordenaciones’ en OpenRefine son temporales, es decir, si elimina el sort, los datos volverán a su estado original ‘desordenado’. El menú desplegable ‘Sort’ le permite modificar la ordenación existente (por ejemplo, invertir el orden de clasificación), eliminar las clasificaciones existentes y/o hacer que las clasificaciones sean permanentes.

Puede ordenar en varias columnas al mismo tiempo agregando otra columna ordenada (de la misma manera).

Introducción a las transformaciones

Introducción a las transformaciones

A través de facetas, filtros y clústeres, OpenRefine ofrece formas relativamente sencillas de obtener una visión general de sus datos y realizar cambios cuando desee estandarizar los términos utilizados en un conjunto común de valores.

Sin embargo, a veces habrá cambios que desee realizar en los datos que no se pueden lograr de esta manera. Tales tipos de cambios incluyen:

Dividir datos que se encuentran en una sola columna en varias columnas (por ejemplo, dividir una dirección en varias partes)
Estandarizar el formato de los datos en una columna sin cambiar los valores (por ejemplo, eliminar la puntuación o estandarizar un formato de fecha)
Extraer un tipo particular de datos de una cadena de texto más larga (por ejemplo, encontrar ISBN en una cita bibliográfica)
Para soportar este tipo de actividad OpenRefine soporta ‘Transformaciones’ que son formas de manipular datos en columnas. Las transformaciones normalmente se escriben en un lenguaje especial llamado ‘GREL’ (General Refine Expression Language). Hasta cierto punto, las expresiones GREL son similares a la fórmula de Excel, aunque tienden a centrarse en manipulaciones de texto en lugar de funciones numéricas.

La documentación completa para el GREL está disponible en https://docs.openrefine.org/manual/grelfunctions. Este tutorial cubre sólo un pequeño subconjunto de los comandos disponibles.

Transformaciones comunes

Algunas transformaciones se utilizan regularmente y son accesibles directamente a través de las opciones del menú, sin tener que escribirlas directamente.

Ejemplos de algunas de estas transformaciones comunes se dan en la siguiente tabla, con sus equivalentes ‘GREL’. Veremos cómo usar la versión GREL más adelante en esta lección.

Transformación común Acción Expresión GREL
A mayúsculas Convierte el valor actual en mayúsculas value.toUppercase()

A minúsculas Convierte el valor actual en minúsculas value.toLowercase()

A Titlecase Convierte el valor actual en mayúsculas (es decir, cada palabra comienza con un carácter en mayúsculas y todos los demás caracteres se convierten en minúsculas) value.toTitlecase()

Recortar espacios en blanco iniciales y finales Elimina cualquier carácter de “espacio en blanco” (por ejemplo, espacios, pestañas) del inicio o del final del valor actual value.trim()

Transformaciones de escritura

Transformaciones de escritura

Para comenzar a escribir transformaciones, seleccione la columna en la que desea realizar una transformación y elija Edit cells->Transform En la pantalla que se muestra, tiene un lugar para escribir una transformación (el cuadro ‘Expression’) y luego la capacidad de obtener una vista previa del efecto que tendría la transformación en 10 filas de sus datos.

La transformación que escriba en el cuadro ‘Expression’ debe ser una expresión GREL válida. La expresión predeterminada es la palabra value por sí misma, lo que significa el valor que se encuentra actualmente en la columna, es decir: no hacer ningún cambio.

Las funciones GREL están escritas dando un valor de algún tipo (una cadena de texto, una fecha, un número, etc.) a una función GREL. Algunas funciones GREL toman parámetros u opciones adicionales que controlan cómo funciona la función. GREL admite dos tipos de sintaxis:

• value.function(options)
• function(value, options)

Cualquiera de los dos es válido, y el que se usa se debe completamente a la preferencia personal. En estas notas se utiliza la primera sintaxis.

Junto a la opción ‘Vista previa’ hay opciones para ver:

‘Historial’: una lista de transformaciones que ha utilizado anteriormente con la opción de reutilizarlas inmediatamente o ‘estrellarlas’ para facilitar el acceso

‘Estrellado’: una lista de las transformaciones que has “protagonizado” a través de la vista ‘Historial’

‘Ayuda’ - una lista de todas las funciones de GREL y una breve información sobre cómo usarlas

Transformaciones -Deshacer y Rehacer-

Deshacer y rehacer

OpenRefine le permite deshacer y rehacer cualquier número de pasos que haya realizado para limpiar los datos. Esto significa que siempre puede probar transformaciones y “deshacer” si es necesario. La forma en que OpenRefine registra los pasos que ha tomado incluso le permite tomar los pasos que ha llevado a cabo en un conjunto de datos y aplicarlos a otro conjunto de datos mediante una operación de copiar y pegar.

Se accede a las opciones y a través del panel de la izquierda.Undo Redo

El panel Deshacer/Rehacer enumera todos los pasos que ha seguido hasta ahora. Para deshacer pasos, haga clic en el último paso que desea conservar en la lista y esto deshará automáticamente todos los cambios realizados desde ese paso.

Los pasos restantes continuarán mostrándose en la lista, pero atenuados, y puede volver a aplicarlos haciendo clic en el último paso que desea aplicar.

Sin embargo, si ‘deshaces’ un conjunto de pasos y luego comienzas a hacer nuevas transformaciones, los pasos en gris desaparecerán y ya no tendrás la opción de ‘rehacer’ estos pasos.

Si desea guardar un conjunto de pasos para volver a aplicarlos más tarde, por ejemplo, a un proyecto diferente, puede hacer clic en el botó Extract. Esto le da la opción de seleccionar los pasos que desea guardar y extraer el código de esos pasos en un formato llamado ‘JSON’. Puede copiar el JSON extraído y guardarlo como un archivo de texto sin formato (por ejemplo, en el Bloc de notas).

Para aplicar un conjunto de pasos que ha copiado o guardado en este formato ‘JSON’ use el botón Apply y pegue en el JSON. De esta manera podrás compartir transformaciones entre proyectos y con otras personas.

Los datos de Deshacer/Rehacer se almacenan con el proyecto y se guardan automáticamente a medida que trabaja, por lo que la próxima vez que abra el proyecto, podrá acceder a su historial completo de pasos que ha llevado a cabo y deshacer/rehacer exactamente de la misma manera.

Transforamción de cadenas, número, fechas y booleanos

Tipos de datos

Comprender los tipos de datos y las expresiones regulares le ayudará a escribir transformaciones más complejas utilizando GREL.

Fechas y números

Hasta ahora hemos estado mirando solo los datos de tipo ‘String’. La mayor parte del tiempo es posible tratar los números y las fechas como cadenas. Por ejemplo, en la columna Fecha tenemos la fecha de publicación representada como una Cadena. Sin embargo, algunas operaciones y transformaciones solo funcionan en datos tipados ‘número’ o ‘fecha’, como ordenar valores en orden numérico o de fecha. Para llevar a cabo estas funciones necesitamos convertir los valores a una fecha o número primero.

Transformaciones- manejo de matrices

Matrices

Una ‘Matriz’ es una lista de valores, representada en OpenRefine mediante el uso de corchetes que contienen una lista de valores entre comillas dobles y separados por comas. Por ejemplo, una matriz que enumere los días de la semana se vería así:

[“Lunes”,“Martes”,“Miércoles”,“Jueves”,“Viernes”,“Sábado”,“Domingo”]

Las matrices se pueden ordenar, desduplicar y manipular de otras maneras en expresiones GREL, pero no pueden aparecer directamente en una celda OpenRefine. Las matrices en OpenRefine suelen ser el resultado de una transformación. Por ejemplo, la función split toma una cadena y la transforma en una matriz basada en un “separador”. Por ejemplo, si una celda tiene el valor:

“Lunes, martes, miércoles, jueves, viernes, sábado, domingo”

Esto se puede transformar en una matriz utilizando la función split

value.split(",")

Esto crearía la matriz que contiene los días de la semana:

[“Lunes”,“Martes”,“Miércoles”,“Jueves”,“Viernes”,“Sábado”,“Domingo”]

Esto se puede combinar con operaciones de matriz como sort . Por ejemplo, suponiendo que la celda contiene el mismo valor que el anterior, entonces la función

value.split(",").sort()

daría como resultado una matriz que contiene los días de la semana ordenados en orden alfabético:

[“Domingo”,“Jueves”,“Lunes”,“Martes”,“Miércoles”,“Sábado” “Viernes”]

Para generar un valor de una matriz, puede seleccionar un valor específico en función de su posición en la lista (con la primera posición tratada como ‘cero’). Por ejemplo

value.split(“,”)[0]

extraería el primer valor de la matriz creada por la función split. En el ejemplo anterior esto sería “lunes”

También puede unir matrices para crear un ‘string’. La expresión GREL se vería como

value.split(",").sort().join(",")

Tomando el ejemplo anterior nuevamente, esto resultaría en una cadena con los días de la semana en orden alfabético, enumerados con comas entre cada día.

Transformaciones-Exportación

Exportación de datos

Una vez que haya terminado de trabajar con un conjunto de datos en OpenRefine, es posible que desee exportarlo. Se accede a las opciones de exportación a través del botón en la parte superior derecha de la interfaz de OpenRefine.Export

El soporte de formatos de exportación incluye HTML, Excel y valores separados por comas y tabulaciones (csv y tsv). También puede escribir una exportación personalizada, seleccionando exportar campos específicos, agregando un encabezado o pie de página y especificando el formato exacto.

Funciones avanzadas

Buscar datos desde una URL
OpenRefine puede recuperar datos de URL. Esto se puede usar de varias maneras, incluida la búsqueda de información adicional de un servicio remoto, según la información en sus datos de OpenRefine.

Por ejemplo, puede buscar nombres en el Archivo de autoridad internacional virtual (VIAF) y recuperar información adicional, como fechas de nacimiento/muerte e identificadores.

Por lo general, este es un proceso de dos pasos, en primer lugar, un paso para recuperar datos de un servicio remoto y, en segundo lugar, para extraer la información relevante de los datos que ha recuperado.

Para recuperar datos de una fuente externa, use el menú desplegable en el encabezado de cualquier columna y seleccione ‘Editar columna->Agregar columna obteniendo URL’.

Esto le pedirá una expresión GREL para crear una URL. Por lo general, esta sería una URL que usa valores existentes en sus datos para crear una consulta. Cuando se ejecuta la consulta, OpenRefine solicitará cada URL (para cada línea) y recuperará los datos que se devuelvan (a menudo pueden ser datos estructurados, pero podrían ser HTML).

Los datos recuperados se almacenarán en una celda en la nueva columna que se ha agregado al proyecto. A continuación, puede utilizar las transformaciones de OpenRefine para extraer información relevante de los datos que se han recuperado. Dos funciones específicas de OpenRefine utilizadas para esto son:

analizar HTML ()
analizarJson ()
La función ‘parseHtml()’ también se puede usar para extraer datos de XML.

Servicios de conciliación

Los servicios de reconciliación le permiten buscar términos de sus datos en OpenRefine contra servicios externos y usar valores de los servicios externos en sus datos. El Manual de usuario oficial proporciona información detallada sobre la función de reconciliación .

Los servicios de conciliación pueden ser más sofisticados y, a menudo, más rápidos que usar el método descrito anteriormente para recuperar datos de una URL. Sin embargo, para usar la función ‘Reconciliación’ en OpenRefine se requiere que el recurso externo admita el servicio necesario para que funcione OpenRefine, lo que significa que, a menos que el servicio que desea usar admita dicho servicio, no puede usar el enfoque de ‘Reconciliación’.

Hay algunos servicios en los que puede encontrar una opción de reconciliación de OpenRefine disponible. Por ejemplo, WikiData tiene un servicio de reconciliación en https://wikidata.reconci.link/ .

En otros casos, las personas han creado aplicaciones de reconciliación para un servicio específico que puede descargar y ejecutar usted mismo. Estos varían en la forma en que funcionan y en lo que se necesita para ejecutarlos localmente. Por ejemplo, existen múltiples aplicaciones de reconciliación para VIAF. Incluso para el mismo servicio (por ejemplo, VIAF), diferentes aplicaciones de reconciliación (escritas por diferentes personas) pueden funcionar de diferentes maneras y potencialmente dar resultados diferentes, ¡así que, caveat emptor!

Una de las formas más comunes de usar la opción de reconciliación en OpenRefine es con una extensión (consulte a continuación para obtener más información sobre las extensiones de OpenRefine) que puede usar fuentes de datos vinculadas para la reconciliación. La extensión RDF de Stuart Kenny se puede descargar desde https://github.com/stkenny/grefine-rdf-extension/releases .

Hay otras extensiones disponibles para realizar la reconciliación con datos locales, como archivos csv (consulte http://okfnlabs.org/reconcile-csv/ ) y listas de valores mantenidas (consulte http://okfnlabs.org/projects/nomenklatura/index. html ).

Para obtener más información sobre el uso de los servicios de reconciliación, consulte https://github.com/OpenRefine/OpenRefine/wiki/Reconciliation-Service-API

Extensiones

La funcionalidad en OpenRefine se puede mejorar con ‘extensiones’ que se pueden descargar e instalar para agregar funcionalidad a su instalación de OpenRefine.

Se proporciona una lista de Extensiones (no necesariamente completa) en la página de descargas de OpenRefine en http://openrefine.org/download.html .

Uso de la función ‘cross’ para buscar datos en otros proyectos de OpenRefine

Además de buscar datos en sistemas externos utilizando los métodos descritos anteriormente, también es posible buscar datos en otros proyectos de OpenRefine en la misma computadora. Esto se hace usando la función ‘cross’.

La función ‘cross’ toma un valor del proyecto OpenRefine en el que está trabajando y busca ese valor en una columna en otro proyecto OpenRefine. Si encuentra una o más filas coincidentes en el segundo proyecto de OpenRefine, devuelve una matriz que contiene las filas con las que ha coincidido.

Como devuelve la fila completa para cada coincidencia, puede usar una transformación para extraer los valores de cualquiera de las columnas en el segundo proyecto.

Puede usar esta función para comparar el contenido de dos proyectos de OpenRefine o para usar datos entre los dos proyectos.

La extensión VIB-Bits agrega una serie de funciones muy útiles a OpenRefine. Uno de ellos es “Agregar columna(s) de otros proyectos…”, que proporciona una ventana de diálogo para ayudarlo a trabajar con la función cross escribiendo menos.

Puntos Claves

• OpenRefine puede buscar URL personalizadas para obtener datos en función de lo que hay en un proyecto de OpenRefine

• Dichas llamadas API se pueden crear de forma personalizada o se pueden usar los servicios de reconciliación existentes para enriquecer los datos.

• OpenRefine se puede mejorar aún más mediante la instalación de extensiones

::::